Từ tháng 2 năm 1945 đến năm 1948 ông tham gia phong trào Thanh niên Tiền phong, tham gia giành chính quyền tại Sài Gòn. Ông giữ các chức vụ Phó Bí thư chi bộ, Chủ nhiệm Việt Minh xã Tân Quý Tây, Chủ nhiệm Khu bộ Việt Minh Khu Phước Điền Thượng, huyện uỷ viên huyện Cần Giuộc.
Từ tháng 12/1948 đến tháng 8/1954: ông làm Bí thư Huyện uỷ kiêm chính trị viên Huyện đội, huyện đoàn trưởng thanh niên cứu quốc huyện Cần Giuộc; Phó Bí thư huyện uỷ kiêm Chính trị viên Ban chỉ huy liên Huyện Cần Giuộc, Cần Đước, Nhà Bè (thuộc tỉnh Bà Rịa – Chợ Lớn).
Từ tháng 8/1954 đến tháng 7/1957: ông làm Bí thư Huyện uỷ Cần Giuộc; Tỉnh uỷ viên rồi Uỷ viên Thường vụ Tỉnh uỷ Chợ Lớn phụ trách binh vận; Phó Bí thư Tỉnh uỷ rồi Quyền Bí thư Tỉnh uỷ Chợ Lớn.
Tháng 8/1957 đến tháng 11/1958: ông làm Phó Bí thư, Quyền Bí thư Tỉnh uỷ Chợ Lớn; Phó Bí thư Tỉnh uỷ Long An (gồm 2 tỉnh Chợ Lớn và Tân An).
Tháng 12/1958 đến năm 1964: ông làm Bí thư Tỉnh uỷ Long An, Chính trị viên Ban chỉ huy Tỉnh đội.
Tháng 6/1964 đến năm 1967: ông được bầu làm Uỷ viên dự khuyết Khu uỷ Khu 8 (T2) kiêm Bí thư Tỉnh uỷ Long An; Trưởng ban Binh vận Khu uỷ, Uỷ viên Quân khu uỷ phụ trách du kích chiến khu; Khu uỷ viên Khu 8 kiêm Bí thư Tỉnh uỷ Mỹ Tho (nay là tỉnh Tiền Giang).
Tháng 12/1967: ông làm Bí thư kiêm chính uỷ phân khu 3 trực thuộc Trung ương Cục miền Nam, gồm các huyện phía Nam tỉnh Long An, thị xã Tân An, huyện Nhà Bè và các quận nội thành Sài Gòn (Quận 2, 4, 7, 8).
Tháng 8/1970 đến năm 1973: ông làm Bí thư kiêm Chính uỷ phân khu 23 gồm tỉnh Long An, ba huyện: Nhà Bè, Bình Chánh, Tân Bình của Thành phố Hồ Chí Minh.
Từ 16/2/1987 đến 10/5/1988 ông làm Phó Chủ tịch Hội đồng Bộ trưởng (nay là Phó Thủ tướng Chính phủ) kiêm Chủ nhiệm Ủy ban Thanh tra Nhà nước (nay là Tổng Thanh tra Chính phủ). Ngày 10/5/1988 ông Huỳnh Công Sổ, Phó Chủ nhiệm thứ nhất Ủy ban Thanh tra Nhà nước giữ chức Chủ nhiệm Ủy ban Thanh tra Nhà nước (đến 4/1989). Từ 4-1989 Ủy ban Thanh tra Nhà nước đổi tên là Thanh tra Nhà nước. Ông Nguyễn Kỳ Cẩm được cử làm Tổng Thanh tra Nhà nước từ 4-1989.
Tháng 5/1988 đến tháng 3/1992: ông làm Phó Trưởng ban thứ nhất Ban Tổ chức Trung ương.
Tháng 3/1992 đến tháng 6/1998: ông là Uỷ viên Trung ương Đảng, Chủ tịch Hội Nông dân Việt Nam.
Ông nghỉ hưu từ 1 tháng 10 năm 2006.
Ông nguyên là Uỷ viên Trung ương Đảng các khoá IV, V, VI, VII. Đại biểu Quốc hội các khoá VIII, IX.
Ông qua đời vào lúc 16h ngày 29/10/2016 tại Bệnh viện Thống Nhất, Thành phố Hồ Chí Minh, 92 tuổi.
